I 1824 overtog Ove Christian Ludvig Gyldenkrone baroniet og flyttede ind i den gamle hovedbygning på Vilhelmsborg. Bygningen var dog i dårlig stand, og da konjunkturerne atter gik fremad, fik han råd til at opføre en ny hovedbygning i 1842-1844. Den nuværende hovedbygning er opført i klassicistisk stil og tegnet af arkitekten Ferdinand Thielemann.

Der var tilhørende avlsbygninger, som omkransede en gårdsplads, men i 1855 brændte avlsbygningerne ned. Herefter valgte man at opfører avlsgårdene igen, adskilt fra hovedbygningen. I den forbindelse blev der også etableret et mejeri på stedet.

Op gennem 1800-tallet blomstrede det sociale liv på Vilhelmsborg. Ud over de mange der havde deres gang på godset i kraft af arbejde, blev det også i flere omgange blandt andre besøgt af en så prominent forfatter som H. C. Andersen.

Baroniet blev ophævet i 1921 og i 1923 blev Vilhelmsborg solgt til Lars Niels Christian Hviid. I 1954 overgik godset til hans søn Knud Gustav Hviid.
Siden 1973 har Aarhus Kommune været ejer af Vilhelmsborg som blev købt for 7,1 mio. Der høre 288 hektar jord til, hvoraf det meste er forpagtet ud til landbrug.

I parken sydøst for VILHELMSBORG`s nuværende hovedbygning ligger udgravningen af det gamle SKUMSTRUPs hovedbygning, der blev bygget omkring år 1600, og som stod, indtil bygningen i
1776 blev brudt ned, for at materialet kunne indgå i bygningen af den nuværende hovedbygning af
MOESGÅRD.

I udgravningen på VILHELMSBOG kan man i dag se hovedbygningens fundament, kælder og hele
bygningens udstrækning, men vil man vide noget mere om den gammel bygnings udseende og indretning, må man søge i TINGBOGEN for HAVREBALLEGÅRD BIRK, hvori et par syn på gården fra oktober 1673 og juni 1674 er indført under datoerne 18/11 1673 og 23/3 1675.

Her kan læses, at hovedbygningen var på 2 etager. Mod vest – mod LADEGÅRDEN – var der et TRAPPETÅRN, og mod øst til havesiden et KORSHUS – en karnap. I stueetagen var der 3 stuer og en korsstue. Der var her 12 døre med 8 låse på. Alle vinduer var af fransk glas. Gulvene var belagt med røde fliser. På første sal var der ingen skillerum undtagen i den sydlige ende, hvor er lå et kammer med 3 nye vindueskarme med 4 nye vinduer i hver.

Det store rum – RIDDERSALEN – havde 5 gamle vindueskarme med 8 nye og 12 gamle vinduer. Tømmerværket var vedligeholdt, men væggene trængte til at blive pudset. På dørene var der 3 låse. På den øverste kvist var der en stue med gamle vinduer uden beslag.
Taget var mod gårdspladsen nyt med blyrender i, men mod øst og på korshuset var taget gammelt og trængte til understrygning og til fornyelse af en del tagsten, lægter og skråstivere på spærrene.
Trappen i TÅRNET var gammel. Væggene trængte her til at blive pudset. Øverst i tårnet var der træluger uden beslag, og foran trappen var er en dør med klinkfald.

KÆLDEREN var ved synet vel vedligeholdt. Der var her 3 døre og en luge med 3 låse for.
Selve hovedbygningen rummede kun opholdsrum, og vi skal over i den sydlige sidebygning for at finde KØKKENET. Her var gulvet af klinker i køkkenet, og der var kampesten på gulvet i BRYGGERSET. I denne fløj havde også forvalteren sin bolig. Her havde han sit kontor, sin stue og et kammer. Denne sidebygning i én etage, havde 10
døre – med 8 låse og 4 klinkfald. Vindueskarmene var gamle, men vinduer og loft var nye og vedligeholdte. For vinduerne var der 8 skodder med 5 skruer. Taget var med gamle tagsten og trængte også her til understrygning.
Den nordlige sidebygning indeholdt 3 kamre og en BORGESTUE. Der var 5 døre med 4 låse på. På gulvet i kamrene var der gulvfliser, mens der ikke var belægning på gulvet i borgestuen. Vinduer og loft var nye, men taget var gammelt.
På gårdspladsen, der var nybrolagt, var der en BRØND med bolværk, trisse, lænke og
brøndspand. BORGEGÅRDEN var adskilt fra den vest for liggende LADEGÅRD af et
stakit, der var malet med blå og hvid oliefarve.